「データレイク」という言葉だけ知ってる人がAWS Lake Formationをはじめてみる #devio2021

2021/10/15(金)にクラスメソッドオンラインイベントのDevelopersIO 2021 Decadeで「データレイク」という言葉だけ知ってる人がAWS Lake Formationをはじめてみるというタイトルで動画公開しました

動画内容

「データレイク」って言葉は知ってるんだけど、S3にデータやログを無作為に入れてるだけで良いんだっけ？データ共有するにもシステム担当者が別れてるし、個別に調整するのとか面倒くさいので頓挫してしましました、、。AWS Lake Formation って何かいい感じにデータレイク作ってくれそうなネーミングだけど、何ができるの？

といった、溜まったデータをどうやって利用できる環境にしていこうか・・・という方向けに、AWS Lake Formation の機能概要について紹介しています。

公開動画

スライド

まとめだけ読みたい

あとがき

今回、登壇テーマを決めるにあたって自分が既に知っている技術をとりあげても良かったのですが、せっかくなので初めて触るものを選んで登壇ドリブンで学習しようと思いました。その中でも AWS Lake Formation を選択したのは、DevelopersIO の記事として少なかったからです。

登壇ドリブンで身につけた知識なので、深い話はありません。製品紹介といった色が強いですが、AWS Glueとの関わり、Lake Formation はIAMを拡張したパーミッションモデルを持っていること、溜まったデータに対してのセキュリティ＆コントロールをするためのサービスであり、なかなかオモシロイと思いました。

今回は紹介していませんが、ACIDトランザクション、行レベル・セルレベルのアクセスコントロール、ファイル統合による性能向上の自動化（アクセラレーション）など、まだプレビューでGAされていないアップデートも控えているので今後が楽しみです。

関連記事